首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 探索云原生分布式 Data Warebase

    云原生分布式 Data Warebase 将开启处理数据的新范式,它让数据的使用返璞归真,不论是存储还是查询,一个系统满足业务全方位数据需求。 Data Warebase 数据产品大体上可分为关系型数据库、NoSQL 数据库、搜索引擎、向量搜索和数据仓库等几类。 “Data Warebase”这一术语融合了“数据仓库(Data Warehouse)”和“数据库(Database)”两词,用以概述一种集合了上述多类产品功能的产品。 五、数据开发的新范式 这时候,我们终于拥有了一种全新的数据产品 – 云原生分布式 Data Warebase。 也许,终有一天我们会认识到:现行的数仓或数据库实际上都是能力不完整的 Data Warebase

    67210编辑于 2024-03-13
  • 破局“不可能三角”:Data Warebase如何终结30年数据库割据时代?

    02 Data Warebase 技术革命破解不可能三角旧秩序崩塌,真正的拷问浮出水面:到底怎样的技术架构才能承载 AI 时代的洪流?答案正从 Data Warebase 架构的工程实战中浮现。 Data Warebase 的概念是将 Data Warehouse 与 Database 融合于一体,构建统一的数据底座,以全面支撑 AI 工作流中从数据高吞吐写入、实时加工、高频的分析和检索的全过程 Data Warebase 的本质是通过 PostgreSQL 生态实现多模态数据的协议统一,借实时物化视图完成流批数据的引擎重构,最终在单一产品内实现分布式计算与分布式存储的高效融合。 未来大部分服务将依托 AI Agent 进行智能交互,而 AI Agent 需要一个强大的 Data API,Data Warebase 提供了强大的多模查询、极致弹性、以及分支管理的能力,能够很好地支持 04 Data Warebase 提出者终极预判商业红利的快速涌现印证了王绍翾的前瞻洞见:生态霸权与协议简化正重塑数据基础设施的未来版图。

    58641编辑于 2025-06-30
  • 来自专栏深度学习与python

    为什么又造了个新词 Data Warebase:我看到了 AI 时代数据平台应当的样子

    云原生分布式 Data Warebase 将开启处理数据的新范式,它让数据的使用返璞归真,不论是存储还是查询,一个系统满足业务全方位数据需求。 Data Warebase 数据产品大体上可分为关系型数据库、NoSQL 数据库、搜索引擎、向量搜索和数据仓库等几类。 “Data Warebase”这一术语融合了“数据仓库(Data Warehouse)”和“数据库(Database)”两词,用以概述一种集合了上述多类产品功能的产品。 5 数据开发的新范式 这时候,我们终于拥有了一种全新的数据产品 – 云原生分布式 Data Warebase。 也许,终有一天我们会认识到:现行的数仓或数据库实际上都是能力不完整的 Data Warebase

    42110编辑于 2024-03-07
  • 来自专栏深度学习与python

    Databricks × Snowflake 纷纷下注,PostgreSQL 成 AI 时代数据库标准?

    Introducing Data Warebase : 什么是 Data Warebase 因此,我们提出了 Data Warebase 的概念——将 Data Warehouse 与 Database Data Warebase 与 现有技术的差异与优势 最后再简单提一下很多小伙伴过来询问 Data Warebase 与现有技术的差异与优势。 1. 文章结构: Trending:数据基础设施在 AI 时代的新趋势 Introducing Data Warebase:什么是 Data Warebase Data Warebase for AI Workload Introducing Data Warebase : 什么是 Data Warebase 因此,我们提出了 Data Warebase 的概念——将 Data Warehouse 与 Database Data Warebase 与 现有技术的差异与优势 最后再简单提一下很多小伙伴过来询问 Data Warebase 与现有技术的差异与优势。 1.

    68410编辑于 2025-06-08
  • 从 Facebook 到阿里再到小质科技,王绍翾携 ProtonBase 在全球数据库市场“打怪升级“

    Q2:⼩质科技的核心产品 ProtonBase,是多云原生、兼容 PostgreSQL 的分布式 Data Warebase。想请您分享⼀下,公司打造这款产品的初衷是什么? Q6:ProtonBase 作为⼀款基于 Data Warebase 理念的产品,既是⼀个数据库,也是⼀个数仓,还⽀持数据实时加⼯计算和数据湖上的查询加速计算。 ProtonBase 作为一个 Data Warebase,既是 Database 也是 Data Warehouse,所以天然就能满足 HTAP 这个场景。 Warebase 的概念,它是 Database+Data Warehouse 的合集,是未来多模数据库的一个新范式。 Data Warebase 与流批一体的区别 流批一体这个概念其实最早就是我们提出的。

    26710编辑于 2025-06-13
  • 来自专栏AustinDatabases

    数据库产品重新定义的时代,ProtonBase强势来袭

    Q2:⼩质科技的核心产品 ProtonBase,是多云原生、兼容 PostgreSQL 的分布式  Data Warebase。想请您分享⼀下,公司打造这款产品的初衷是什么? Q6:ProtonBase 作为⼀款 Data Warebase,既是⼀个数据库,也是⼀个数仓,还⽀持数据实时加⼯计算和数据湖上的查询加速计算。 ProtonBase 作为一个 Data Warebase,既是 Database 也是 Data Warehouse,所以天然就能满足 HTAP 这个场景。 Warebase 的概念,它是 Database+Data Warehouse 的合集,是未来多模数据库的一个新范式。 Data Warebase 与流批一体的区别 流批一体这个概念其实最早就是我们提出的。

    35810编辑于 2025-06-12
  • 来自专栏深度学习与python

    通往 AGI 之路,数据系统还需挑战哪些物理极限?

    最后解释什么是分布式 Data Warebase 以及它意味着什么。 通过这一系列的技术发展,终于诞生了一种全新的数据产品,即分布式 Data Warebase。 分布式 Data Warebase 在数仓场景是个更好的数仓,因为它同时解决了数仓的正确性和实时性问题。 分布式 Data Warebase 是从业务场景出发追求极致的一个必然推论:分布式 Data Warebase 不是一个发明,而是一个发现。 在有了分布式 Data Warebase 之后,我们就开启了数据开发的新范式。比如,对于民宿应用的数据架构,通过使用分布式 Data Warebase,我们可以看到数据架构得到了大幅简化。

    22710编辑于 2024-04-26
  • 来自专栏CreateAMind

    Data Analysis

    read() def _read(self): file_list = glob.glob(self.dir_path) # get all name of files in data = [pd.read_csv(x, delimiter="\t") for x in progress_list] # read all the data from */progree.txt )) self.exp_info = exp_info.drop(["h1", "h2"], axis=1) # return self.exp_info, self.data_list self.compare_name = compare_name score = [x.loc[f:, "AverageTestEpRet"].mean() for x in self.data_list d = self.compare_name fig, ax = plt.subplots() for x in compare: self.data_list

    1.2K30发布于 2019-07-23
  • 来自专栏我爱编程

    Data Analysis

    Data Analysis.png

    1.3K10发布于 2018-08-13
  • 来自专栏mathor

    Data augmentation

    只有这样才能确保神经网络学到的特征更加全面 但在现实中,若想达到以上的目的要付出巨大的代价,并且还要对照片上出现的东西进行准确标注,另外对于一些稀有的物种信息收集更是十分困难 因此我们这里介绍一些为神经网络提供更多数据的方法——数据增强(Data import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([ import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([

    94310发布于 2020-02-14
  • 来自专栏hsdoifh biuwedsy

    Data visualisation

    Lecture 6: Data visualisation -be able to explain the motivation for data visualisation Converting data into a visual format Reveals characteristics of the data, relationships between objects or relationships between features Simplifies the data Humans are very good at analysing information in a visual format Spot trends, patterns, outliers Visualisation can help show data quality Visualisation helps tell some clustering Could be losing some information due to 2D nature Can find the cluster Can find how data

    88710发布于 2021-05-19
  • 来自专栏本立2道生

    Data Warehouse

    OLAP):  User and system orientation: customer vs. market  Data contents: current, detailed vs. historical for OLAP: complex OLAP queries, multidimensional view, consolidation Data Warehouse: ? A data warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data H.Inmon data stored in data warehouse has been processed after extracation, cleaning, transformation, Data Warehouse model : dimensions and measures, you can locate some data by dimension and see the data

    1.2K10发布于 2018-10-11
  • 来自专栏sktj

    vue data

    var data = { a: 1 } var vm = new Vue({   data: data }) vm. $data === data // -> true vm.a === data.a // -> true // 设置属性也会影响到原始数据 vm.a = 2 data.a // -> 2 // 反之亦然 data.a = 3 vm.a // -> 3 ?

    97610发布于 2019-08-28
  • 来自专栏潇涧技术专栏

    Python Data Structures - C3 Data Structures

    Python数据结构篇(3) 数据结构 参考内容: 1.Problem Solving with Python Chapter 2 Algorithm Analysis Chapter 3 Basic Data

    79310发布于 2018-08-01
  • 来自专栏大数据和云计算技术

    Modern Data Stack 下 Data Integration 生态(上)

    modern data stack 几大核心是:cloud 、open-source 、SaaS business models。 ,本文会重点讨论下 Modern data stack 本身,还有 Gartner 对 data integration 的理解。 后面还有一篇讨论具体的在 modern data stack 下面 data integration 都有些典型公司。 自助式分析:The rise of self-service analytics to democratize data exploration 除了上面几点,modern data stack 核心变化下图有总结 ;不是特别符合现在所说的 modern data stack 的逻辑。

    1.2K20编辑于 2021-12-28
  • 来自专栏大数据和云计算技术

    Modern Data Stack 下 Data Integration 生态(下)

    前言 上一篇介绍了什么是 modern data stack,这一篇继续来梳理下,在modern data stack 下面常见的产品都有哪些。 pipelines, streaming analytics, data integration, and mission-critical applications. kafka 核心的能力还是在分发 Data transformation and modeling 分类说明 这个主要是和数仓结合,数仓的上层管理数据转换和模型构建。 Census,其他还有Hightouch 和 Omnata 把数仓数据挪到 SaaS 工具中,不需要写代码,只需要 SQL 简单总结 Modern data stack 下面 data integration Modern data stack 都在不同层面去降低客户使用数据的难度以及帮助发现客户的价值,典型的 dbt,reverse etl 。

    1.3K20编辑于 2021-12-30
  • 来自专栏Hadoop数据仓库

    Data Vault初探(三) —— 建立Data Vault模型

    sales_order (sales_order_id), FOREIGN KEY (product_id) REFERENCES product (product_id) ) ; 将示例转换成Data 注意Data Vault模型中的每个关系都是多对多关系。 所有源库中用到的表的非键属性都要放到Data Vault模型中。 sat_product hub_product sat_sales_order hub_sales_order sat_order_product link_order_product 使用下面的脚本建立Data foreign key (link_order_product_id) references link_order_product (link_order_product_id) ); Data

    1.6K20编辑于 2022-06-14
  • 来自专栏开源心路

    数据编织 (Data Fabric) vs 数据网格 (Data Mesh)

    概念 近来,数据管理领域的热词也是不少,从国外来的数据编织 (Data Fabric) 和数据网格 (Data Mesh) 是两个经常被提及的新话题。 Gartner给数据编织(Data Fabric) 的定义如下: Data Fabric is a design concept that serves as an integrated layer of data and connecting processes. Forrester给出数据网格 (Data Mesh) 的定义如下: Data Mesh is a decentralized sociotechnical approach to share, access 参考 https://www.datanami.com/2021/10/25/data-mesh-vs-data-fabric-understanding-the-differences/

    2.6K10编辑于 2023-06-30
  • 来自专栏小工匠聊架构

    Elasticsearch-circuit_breaking_exception Data too large, data for

    ---- 异常信息 {"root_cause":[{"type":"circuit_breaking_exception", "reason":"[parent] Data too large, data

    2.7K10发布于 2021-08-17
  • 来自专栏麒思妙想

    零基础学Flink:Data Source & Data Sink

    在上一篇讲述CEP的文章里,直接使用了自定义Source和Sink,我翻阅了一下以前的文章,似乎没有对这部分进行一个梳理,那么今天我们来就这上次的代码,来说说 Data Source 和 Data Sink 从宏观上讲,flink的编程模型就可以概况成接入data source,然后进行数据转换操作,再讲处理结果sink出来。如下图所示。 ? Data Source 我们还是以上一篇文章的空气质量例子为例,我们制造一个发生器,来向制造数据,然后将数据写入kafka。 Data Sink Sink部分会介绍两部分内容,1.Sink 到 JDBC 2.通过 Flink SQL Sink 到 CSV Sink 到 JDBC 首先我们创建一个sink类,继承RichSinkFunction 好了,关于 Data Source 和 Data Sink 就先介绍到这里,欢迎大家和我交流。

    2.6K40发布于 2020-07-10
领券